ProRL: Effective Reinforcement Learning for Proactive Recommendation via Rectified Policy Gradient Estimation
ProRL：矫正策略梯度的主动推荐强化学习
🧭 主动推荐 · 强化学习策略梯度矫正 ★ 深度解读
Fudan University
识别并解决主动推荐中策略梯度的长度捷径与高方差问题，提出步级奖励中心化和位置特定优势估计
📌 工作参考价值（4 点）
- 在序列决策任务中若步级奖励存在正均值，会诱导策略偏向延长序列。可直接套用“步级奖励中心化”：用在线统计估计全局步级奖励均值，每一步奖励减去该均值，使路径延长零期望增益，消除长度捷径。
- 利用奖励分解为步级增量这一结构，无需额外 critic 模型即可计算位置特定优势：取同输入多个 rollouts 的 reward-to-go，在每个位置做组内平均作为基线，构造低方差优势估计。该 trick 可直接用于对话推荐、路径规划等 RL 训练，训练稳定且无额外网络。
- 多目标 RL 中，不同奖励成分的尺度差异大，采用“中心化 + 标准差缩放”的归一化策略，平衡各目标梯度量级，可借鉴到电商推荐中同时优化点击、转化、引导效果等复合指标。
- 整个框架基于轻量 Transformer + 语义 ID 实现，部署成本低，适合工业界在类主动推荐（如新品引导、兴趣探索）场景中替代 LLM 规划，兼顾效果与在线效率。